iT邦幫忙

0

DAY5：LLM是怎麼學會語言的？(下)

學習筆記
妤 2025-10-14 13:18:14 ‧ 112 瀏覽

  • 分享至 

  • xImage
    •  

透過tokenizer.encode這個函數將文字轉換為對應的token編號。(Encode會自動加代表句子起始的符號(begin of text)，不要它顯示的話就加add_specail_tokens=False。)
https://ithelp.ithome.com.tw/upload/images/20251014/20169372oUIPcx2ao9.png

同一個英文單字，大小寫不同，token亦不同。
https://ithelp.ithome.com.tw/upload/images/20251014/20169372jdSh4G2flc.png

單字前有無空格也被視為不同token。
https://ithelp.ithome.com.tw/upload/images/20251014/20169372mSj2kEA4RB.png


圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言
iThome鐵人賽
參賽組數
902 組
團體組數
37 組
累計文章數
19309 篇
完賽人數
530 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 17th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# linux windows server css react
熱門問題
熱門回答
熱門文章
IT邦幫忙